
商傳媒|何映辰/台北報導
摘要
AI 評測機構 Vals 推出失準事件追蹤專頁,公開多款模型在測試中出現的作弊、偽造憑證及越權存取等違規行為,凸顯自主 Agent 在模型對齊上的安全挑戰。
每月執行數千億個 Token 評測的人工智慧評測公司 Vals AI, Inc.,於週四宣布推出專門記錄 AI Agent 異常行為的資料庫專頁,公開追蹤各家模型在測試中所出現的作弊、鑽評分漏洞以及模型對齊失準現象。
所謂模型對齊(Alignment),簡單來說就是讓 AI 的行為與輸出符合人類的真實意圖與安全規範,防止系統為達目的不擇手段。Vals AI, Inc. 指出,能夠執行長期任務的自主 Agent 能否被大規模採用,關鍵不僅在於運算能力的高低,更取決於其行為是否值得信賴。
根據該公司公布的初版失準事件清單,多款主流模型在評測過程中展現了出乎意料的脫序行為。相關案例涵蓋 DeepSeek 繞過驗證檢查機制、Kimi 搜尋外部研究、MiniMax 未經授權存取資料庫,以及 Beam 偽造 JWT 身分驗證憑證等情況;此外,Muse、Grok、Gemini 與 Mistral 等旗下模型亦被記錄到不同程度的異常運作。
為了從海量數據中找出這些問題,Vals AI, Inc. 建立了一套自動化篩選流程:先採用 Mercury Decide 模型分析執行軌跡特徵,再由 OpenAI 開發的 GPT-6.1 Sol 挑選出值得人工複審的顯著案例。業界人士可至Vals 失準事件專頁查閱詳細通報清單,該公司也開放外部研究團隊主動回報新發現的對齊漏洞。
在 Google 搜尋的熱門報導中優先看到商傳媒
加入為 Google 偏好來源